Avery dilahirkan di Burbank, California kepada Kristin Stanford dan John Avery. Dia mempunyai empat adik beradik: Sydnie Avery (lahir 30 Oktober 1995), Ava Marie Stanford (lahir 6 Mac 2004), dan Isla Rose Stanford (lahir 12 November 2008). Dia mempunyai seorang adik perempuan dari sebelah bapanya, Camila Avery (lahir 28 November 2009).

Pada usia satu tahun, keluarganya berpindah ke Susquehanna, Pennsylvania. Ibu bapanya berpisah, dan dia dan Sydnie tinggal bersama ibu mereka, yang berkahwin semula dengan Darrin Stanford. Dengan populasi kecil 1600, Avery merasakan keperluan untuk keluar dari bandar kecil itu. Dia banyak dipilih kerana "berbeza". Dalam darjah lima, kakaknya Sydnie memupuk dia dalam bidang fesyen dan dia mahu memakai seluar jeans kurus. Kerana dia tidak menemui apa-apa, dia memakai yang untuk kanak-kanak perempuan dan menggandingkannya dengan baju panjang. Dia dipanggil nama tetapi kebanyakannya tidak mengendahkannya. Dia mengalami masa yang sukar semasa sekolah, tidak pernah boleh duduk diam.

Avery bersekolah di Sekolah Menengah Komuniti Susquehanna. Dia membesar dengan bapanya bermain piano, dan dia mula mengambil pelajaran piano dari darjah satu hingga enam, kemudian berhenti untuk mula menyanyi. Akhirnya dia menggabungkan keduanya.[2] Dia dan Sydnie akan melawat bapa mereka setiap musim panas di Seattle.

Dalam darjah enam, Avery belajar gitar sendiri dengan menonton video dalam talian. Apabila dia berumur empat belas tahun, pada musim panas itu dia mula bersiar-siar di Nashville dan menyanyikan "Banana Pancakes" Jack Johnson. Dalam masa sejam dia memperoleh dua puluh dolar dan malah meminta seseorang datang dan meminta foto. Dia mula melaburkan masanya ke dalam muzik, berhenti daripada pasukan bola keranjang dan mula menyiarkan muka depan muzik di YouTube. Dia juga melangkau mengambil SAT dengan kebenaran ibunya.